With the advent of deep learning application on edge devices, researchers actively try to optimize their deployments on low-power and restricted memory devices. There are established compression method such as quantization, pruning, and architecture search that leverage commodity hardware. Apart from conventional compression algorithms, one may redesign the operations of deep learning models that lead to more efficient implementation. To this end, we propose EuclidNet, a compression method, designed to be implemented on hardware which replaces multiplication, $xw$, with Euclidean distance $(x-w)^2$. We show that EuclidNet is aligned with matrix multiplication and it can be used as a measure of similarity in case of convolutional layers. Furthermore, we show that under various transformations and noise scenarios, EuclidNet exhibits the same performance compared to the deep learning models designed with multiplication operations.

由于其不断增加的资源需求，在低资源边缘设备上部署深层神经网络是具有挑战性的。最近的研究提出了无倍数的神经网络，以减少计算和记忆消耗。 Shift神经网络是这些减少的最有效工具之一。但是，现有的低位换档网络不如其完整的精度对应物准确，并且由于其固有的设计缺陷，无法有效地转移到广泛的任务中。我们提出了利用以下新颖设计的光泽网络。首先，我们证明低位移位网络中的零重量值既不有用，也不简化模型推断。因此，我们建议使用零移动机制来简化推理，同时增加模型容量。其次，我们设计了一个新的指标，以测量训练低位移位网络中的重量冻结问题，并提出一个符号尺度分解以提高训练效率。第三，我们提出了低变化的随机初始化策略，以提高模型在转移学习方案中的性能。我们对各种计算机视觉和语音任务进行了广泛的实验。实验结果表明，光泽网络明显胜过现有的低位乘法网络，并可以实现全精度对应物的竞争性能。它还表现出强大的转移学习表现，没有准确性下降。

深度神经网络（DNN）在多个领域取得了令人印象深刻的成功。多年来，随着更深层次，更复杂的体系结构的扩散，这些模型的准确性已经提高。因此，最新的解决方案通常在计算上很昂贵，这使得它们不适合在边缘计算平台上部署。为了减轻推断卷积神经网络（CNN）的高计算，内存和功率要求，我们提出了两次量化量化的使用，该量化量量化量的功率量化将连续参数量化为低点的两个值值。这通过删除昂贵的乘法操作和使用低位权重来降低计算复杂性。 Resnet被用作解决方案的基础，并根据口语理解（SLU）任务评估了建议的模型。实验结果表明，在测试集中，我们的低位量化实现了换档神经网络体系结构的性能，其低位量化达到了98.76 \％，这与其完整精确的对应物和最先进的解决方案相当。

在机器学习中，人工神经网络（ANN）是一种非常强大的工具，广泛用于许多应用程序。通常，所选的（深）架构包括许多层，因此包括大量参数，这使培训，存储和推理变得昂贵。这激发了有关将原始网络压缩为较小网络的一系列研究，而不会过分牺牲性能。在许多提出的压缩方法中，最受欢迎的方法之一是\ emph {Pruning}，该方法的整个元素（链接，节点，通道，\ ldots）和相应的权重删除。由于该问题的性质本质上是组合的（要修剪的要素，什么不是），因此我们提出了一种基于操作研究工具的新修剪方法。我们从为该问题的天然混合组编程模型开始，然后使用透视化重新制作技术来增强其持续放松。从该重新制定中投射指标变量产生了一个新的正则化术语，我们称之为结构化的正则化，从而导致初始体系结构的结构化修剪。我们测试了应用于CIFAR-10，CIFAR-100和Imagenet数据集的一些重新NET架构，获得了竞争性能W.R.T.

通过移除昂贵的乘法操作并将连续权重量化成低比特离散值来减少计算复杂性，与传统的神经网络相比，这是快速且节能的低比特离散值。然而，现有的换档网络对重量初始化敏感，并且还产生由消失梯度和重量率冻结问题引起的降级性能。为了解决这些问题，我们提出了一种低点重新参数化，这是一种用于训练低位换档网络的新技术。我们的方法以符号稀疏偏移3倍的方式分解离散参数。以这种方式，它有效地学习了一个低比特网络，其权重动力学类似于全精密网络并对重量初始化不敏感。我们所提出的培训方法推动移位神经网络的界限，并以在想象中的前1个精度方面显示出3位换档网络。

分布式隐私的回归方案已在各个领域开发和扩展，在这些领域中，多方协作和私人运行优化算法，例如梯度下降，以学习一组最佳参数。但是，传统的基于梯度的方法无法解决包含具有L1正则化的客观功能的问题，例如LASSO回归。在本文中，我们介绍了一个名为FCD的新分布式方案联合坐标下降，旨在在多方场景下安全地解决此问题。具体而言，通过安全的聚合和添加的扰动，我们的方案确保：（1）没有向其他方泄漏本地信息，并且（2）全局模型参数不会暴露于云服务器。最终，各方可以消除附加的扰动，以得出具有高性能的全球模型。我们表明，FCD方案填补了多方安全坐标下降方法的空白，并且适用于一般线性回归，包括线性，脊和拉索回归。理论安全分析和实验结果表明，可以有效，有效地执行FCD，并以低MAE度量作为在现实世界UCI数据集的三种线性回归的任务下作为集中方法提供的低MAE度量。

4D隐式表示中的最新进展集中在全球控制形状和运动的情况下，低维潜在向量，这很容易缺少表面细节和累积跟踪误差。尽管许多深层的本地表示显示了3D形状建模的有希望的结果，但它们的4D对应物尚不存在。在本文中，我们通过提出一个新颖的局部4D隐性代表来填补这一空白，以动态穿衣人，名为Lord，具有4D人类建模和局部代表的优点，并实现具有详细的表面变形的高保真重建，例如衣服皱纹。特别是，我们的主要见解是鼓励网络学习本地零件级表示的潜在代码，能够解释本地几何形状和时间变形。为了在测试时间进行推断，我们首先估计内部骨架运动在每个时间步中跟踪本地零件，然后根据不同类型的观察到的数据通过自动编码来优化每个部分的潜在代码。广泛的实验表明，该提出的方法具有强大的代表4D人类的能力，并且在实际应用上胜过最先进的方法，包括从稀疏点，非刚性深度融合（质量和定量）进行的4D重建。

功能表示学习是基于学习的多视图立体声（MVS）的关键配方。作为基于学习的MVS的共同特征提取器，香草特征金字塔网络（FPN）遭受了灰心的功能表示形式，用于反射和无纹理区域，这限制了MV的概括。即使是FPN与预训练的卷积神经网络（CNN）一起工作，也无法解决这些问题。另一方面，视觉变形金刚（VIT）在许多2D视觉任务中取得了突出的成功。因此，我们问VIT是否可以促进MV中的功能学习？在本文中，我们提出了一个名为MVSFormer的预先培训的VIT增强MVS网络，该网络可以学习更多可靠的功能表示，从VIT提供的信息学先验受益。然后，分别使用固定的VIT权重和可训练的MVSFormer-P和MVSFormer-H进一步提出。 MVSFormer-P更有效，而MVSFormer-H可以实现卓越的性能。为了使VIT对MVS任务的任意分辨率进行强大的vits，我们建议使用有效的多尺度培训并积累梯度。此外，我们讨论了分类和基于回归的MVS方法的优点和缺点，并进一步建议将其统一使用基于温度的策略。 MVSFormer在DTU数据集上实现最先进的性能。特别是，与其他已发表的作品相比，我们对MVSFormer的匿名提交在中级和高级坦克排行榜上排名最高的位置。代码和模型将发布。

In this paper, we propose a robust 3D detector, named Cross Modal Transformer (CMT), for end-to-end 3D multi-modal detection. Without explicit view transformation, CMT takes the image and point clouds tokens as inputs and directly outputs accurate 3D bounding boxes. The spatial alignment of multi-modal tokens is performed implicitly, by encoding the 3D points into multi-modal features. The core design of CMT is quite simple while its performance is impressive. CMT obtains 73.0% NDS on nuScenes benchmark. Moreover, CMT has a strong robustness even if the LiDAR is missing. Code will be released at https://github.com/junjie18/CMT.

Dataset distillation has emerged as a prominent technique to improve data efficiency when training machine learning models. It encapsulates the knowledge from a large dataset into a smaller synthetic dataset. A model trained on this smaller distilled dataset can attain comparable performance to a model trained on the original training dataset. However, the existing dataset distillation techniques mainly aim at achieving the best trade-off between resource usage efficiency and model utility. The security risks stemming from them have not been explored. This study performs the first backdoor attack against the models trained on the data distilled by dataset distillation models in the image domain. Concretely, we inject triggers into the synthetic data during the distillation procedure rather than during the model training stage, where all previous attacks are performed. We propose two types of backdoor attacks, namely NAIVEATTACK and DOORPING. NAIVEATTACK simply adds triggers to the raw data at the initial distillation phase, while DOORPING iteratively updates the triggers during the entire distillation procedure. We conduct extensive evaluations on multiple datasets, architectures, and dataset distillation techniques. Empirical evaluation shows that NAIVEATTACK achieves decent attack success rate (ASR) scores in some cases, while DOORPING reaches higher ASR scores (close to 1.0) in all cases. Furthermore, we conduct a comprehensive ablation study to analyze the factors that may affect the attack performance. Finally, we evaluate multiple defense mechanisms against our backdoor attacks and show that our attacks can practically circumvent these defense mechanisms.